Il palazzo fu il primo esempio di architettura barocca in stile italiano della città. Venne costruito per conto della famiglia Fugger su progetto di Enrico Zuccalli, tra il 1693-94. Successivamente venne acquistato dai conti Törring e successivamente dal principe elettore Carlo Alberto; quest'ultimo lo chiamò Palais Porcia. Il piano terra è decorato a bugnato, con l'ingresso caratterizzato da colonne in stile tuscanico. I due piani superiori sono separati da colonnine. Dopo essere stato acquistato da Carlo Alberto, l'interno venne restaurato in stile rococò da François de Cuvilliés il vecchio, con alcuni interventi di Johann Baptist Zimmermann. La balaustra della balconata venne sostituita da una ringhiera ornamentale in ferro battuto. Nel 1819 il palazzo venne acquistato dalla Società del Museo Letterario e nel 1820 l'ala posteriore venne ingrandita con la costruzione di un salone da ballo e di una sala concerti, quest'ultima progettata da Leo von Klenze. Nel 1934 il palazzo venne acquistato da una banca.